Ngày vào Đảng: 31/03/1974

Ngày chính thức: 31/03/1975

Năm 1972, ông nhập ngũ vào Quân đội nhân dân Việt Nam.

5/1972 - 7/1973: Chiến sỹ thuộc Tiểu đoàn 9, Tiểu đoàn 4- Trung đoàn 246

8/1973 - 5/1976: Tiểu đội trưởng, Trung đội trưởng thuộc Trung đoàn 28- Sư đoàn 10- Quân đoàn 3

6/1976 - 8/1979: Đại đội trưởng,Phó Tiểu đoàn trưởng, Tiểu đoàn trưởng, Trợ lý Tác chiến, Phó Tham mưu trưởng thuộc Trung đoàn 28- Sư đoàn 10- Quân đoàn 3

9/1979 - 8/1982: Học viên Học viện Lục quân- Bộ Quốc phòng

9/1982 - 4/1983: Phó Trung đoàn trưởng-TMT Trung đoàn 752- Sư đoàn 355- Quân đoàn 29

5/1983 - 8/1987: Phó Trung đoàn trưởng-TMT, Trung đoàn trưởng Trung đoàn 192- Sư đoàn 355- Quân đoàn 29- Quân khu 2

9/1987 - 4/1988: Phó Trưởng phòng Tác chiến Quân đoàn 29- Quân khu 2

5/1988 - 6/1989: Phó Sư đoàn trưởng - TMT Sư đoàn 345- Quân đoàn 29- Quân khu 2

7/1989 - 8/1992: Phó Sư đoàn trưởng, Phó Sư đoàn trưởng - TMT Sư đoàn 313- Quân đoàn 29- Quân khu 2

9/1992 - 7/1994: Học viên CHTM cao cấp, Học viện Quân sự cấp cao- Bộ Quốc phòng (nay là Học viện Quốc phòng Việt Nam)

8/1994 - 11/1996: Sư đoàn trưởng Sư đoàn 355- Quân khu 2

12/1996 - 02/1999: Chỉ huy trưởng Bộ Chỉ huy Quân sự tỉnh Phú Thọ- Quân khu 2

03/1999 - 7/1999: Học viên Học viện Chính trị Quân sự- Bộ Quốc phòng

8/1999 - 01/2000: Chỉ huy trưởng Bộ Chỉ huy Quân sự tỉnh Phú Thọ- Quân khu 2

02/2000 - 11/2000: Phó Tham mưu trưởng Quân khu 2

12/2000 - 4/2001: Phó Tư lệnh Quân khu 2

Năm 2001, ông giữ chức Phó Tư lệnh kiêm Tham mưu trưởng Quân khu 2, hàm Thiếu tướng.

5/2001 - 01/2007: Phó Tư lệnh - TMT Quân khu 2

Tháng 1 năm 2006, ông được bầu làm Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa X.

Ngày 7 tháng 2 năm 2007, ông được Thủ tướng Nguyễn Tấn Dũng bổ nhiệm giữ chức Tư lệnh Quân khu 2,[3] hàm Trung tướng[4], thay cho Trung tướng Ma Thanh Toàn.

02/2007 - 10/2010: Tư lệnh Quân khu 2

Ngày 22 tháng 10 năm 2010, ông được bổ nhiệm làm Thứ trưởng Bộ Quốc phòng Việt Nam.

Sau khi Thượng tướng Nguyễn Khắc Nghiên qua đời, ngày 22 tháng 12 năm 2010, ông được Chủ tịch nước bổ nhiệm giữ chức vụ Tổng Tham mưu trưởng Quân đội nhân dân Việt Nam.[5]

12/2010 - 3/2016: Tổng tham mưu trưởng - Thứ trưởng Thường trực Bộ Quốc phòng.

Tháng 1 năm 2011 tại Đại hội đại biểu toàn quốc lần thứ XI của Đảng Cộng sản Việt Nam ông được bầu lại làm Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa XI.

Tháng 5 năm 2011, ông được bầu vào Quốc hội Việt Nam khóa XIII tại đơn vị bầu cử là tỉnh Điện Biên.

Ngày 5 tháng 12 năm 2011, ông được Chủ tịch nước Trương Tấn Sang phong quân hàm Thượng tướng cùng với 8 tướng lĩnh cấp cao khác của Bộ Quốc phòng và Bộ Công an.

Tại Đại hội đại biểu toàn quốc lần thứ XII của Đảng Cộng sản Việt Nam (tháng 1 năm 2016) ông là một trong bốn trường hợp quá tuổi, được BCH Trung ương Đảng khóa XI giới thiệu để tái cử[6] và được bầu lại vào BCH Trung ương Đảng khóa XII.[7]

Ngày 5 tháng 10 năm 2015 ông được Chủ tịch nước Trương Tấn Sang phong quân hàm Đại tướng[8]. Cùng được phong quân hàm Đại tướng với ông trong ngày này còn có ông Ngô Xuân Lịch.

Ngày 5 tháng 4 năm 2016 tại Kỳ họp thứ 11 Quốc hội khóa XIII, ông được bầu giữ chức Phó Chủ tịch Quốc hội phụ trách quốc phòng - an ninh.

Ngày 27 tháng 04 năm 2016, ông được Thủ tướng Chính phủ Nguyễn Xuân Phúc ký quyết định thôi giữ chức Thứ trưởng Bộ Quốc phòng để nhận nhiệm vụ mới.[9]

Tháng 5 năm 2016, ông tiếp tục được bầu vào Quốc hội Việt Nam khóa XIV tại đơn vị bầu cử là tỉnh Lào Cai.[10]

Tháng 7 năm 2016 tại Kỳ họp thứ 1 Quốc hội khóa XIV, ông được bầu giữ chức Phó Chủ tịch Quốc hội phụ trách quốc phòng - an ninh.